우리는 로컬 SLM/폐쇄 환경지옥락 뉴토끼 작동하는 생성 된 AI를 테스트했습니다 (1) Environment Construction Edition

소개

이것은 놀랍지 만 모두 생성 된 지옥락 뉴토끼를 사용합니까? 나는 매일 내 일과 개인적인 요구를 사용하면서 "무슨 일이 일어나면, 발전기 지옥락 뉴토끼에게 먼저 물어 보자!"
최근에 점점 더 많은 회사가 자체 세대 지옥락 뉴토끼를 사용하고 있지만이 기사를 어떻게 사용하고 있습니까?

Sier, 우리는 내부 개발 외에도 고객에게 먼저 시스템을 구축 할 수있는 많은 사례가 있습니다 그때에,경우에 따라 고객의 기업 정책 또는 보안상의 이유로 인해 생성 된 AI의 사용이 제한되며 현장지옥락 뉴토끼 생성 된 AI의 사용은 아직 진행되지 않았으며 "생성 된 AI 현장 사용"에 어려움을 겪었습니다

이 기사는 (5 월) 그러한 문제를 해결합니다"폐쇄 된 환경지옥락 뉴토끼 작동하는 AI (로컬 SLM) 생성"

전제 조건

건물 절차

이 기사지옥락 뉴토끼는 Windows PC에 "Wind (이미 WSL 또는 Docker를 설치 한 경우 "3 로컬 SLM 환경 구축"부터 시작하십시오)

1WSL 설치

먼저 Microsoft Store지옥락 뉴토끼 Ubuntu를 설치하십시오 아래 URL로 이동하여 WSL의 Ubuntu 앱의 설치 프로그램을 다운로드하여 실행하십시오

URL :https : //appsmicrosoftcom/det지옥락 뉴토끼l/9pdxgncfsczv? hl = ja-jp & gl = jp & ocid = pdpshare

설치가 시작되면 다음 창이 시작됩니다 잠깐 기다렸다가 화면의 지침을 따르고 사용자 ID와 비밀번호를 입력하여 사용할 수 있도록하십시오 (~$| 입력 상태가 진행 중이면 설치가 성공적입니다)

2지옥락 뉴토끼 설치

설치된 우분투 지옥락 뉴토끼 Docker를 설치하십시오
먼저 우분투지옥락 뉴토끼 APT 패키지를 현대화하고 Docker와 함께 사용할 패키지를 설치하십시오

다음, 지옥락 뉴토끼 GPG 키를 만들고 권한을 설정 한 다음 지옥락 뉴토끼에 저장소를 사용하십시오지옥락 뉴토끼.목록에 추가하십시오

실제로 APT 패키지를 현대화하고 지옥락 뉴토끼를 설치하십시오

마지막으로 지옥락 뉴토끼의 시작 설정 및 사용자 및 그룹을 설정하십시오

지옥락 뉴토끼 --버전그리고지옥락 뉴토끼Compose버전| 성공적으로 설치되었는지 확인합니다

　
NVIDIA GPU가있는 PC를 사용하는 경우 NVIDIA 컨테이너 툴킷 (NVIDIA-CTK라고 함)도 설치하십시오

마지막으로,지옥락 뉴토끼run --RM --런타임=nvidia --gpusallUbuntunvidia-SMIDocker 내지옥락 뉴토끼 호스트의 GPU를 사용할 수 있는지 확인하십시오 다음과 같이 보이면 성공입니다 (NVIDIA-CTK 설치에 실패하거나 NVIDIA GPU가없는 경우 오류가 발생합니다 NVIDIA 이외의 GPU의 경우 각 공급 업체가 제공 한 Docker 런타임 및 드라이버가 필요합니다)

준비가 완료되었습니다

3 로컬 SLM 지옥락 뉴토끼을 빌드

이제 로컬 지옥락 뉴토끼의 작동을 마침내 구축하고 확인해 봅시다
이번에는Ollama를 모델 추론 지옥락 뉴토끼으로 사용하여 구축, 사용자 상호 작용을위한 웹 응용 프로그램으로 webui를 열어할게요 개별적으로 설치하는 방법도 있지만 이번에는 지옥락 뉴토끼의 이점을 최대한 활용하여 지옥락 뉴토끼 Compose에 모두 함께 구축 할 것입니다

말하지만 단계는 매우 간단합니다
먼저 WSL의 Ubuntu 지옥락 뉴토끼 로그인하고 다음 명령을 실행하여 사용자의 홈 디렉토리를 입력Ollama폴더 생성 및 지옥락 뉴토끼 Compose (Compose.yaml)를 작성하십시오

다음으로 Ollama 및 Open WebUI 컨테이너를 시작하십시오

컨테이너와 컨테이너 네트워크가 만들어지면 성공합니다 그러나 처음 시작하는 데 약간의 시간이 걸립니다 시작 확인지옥락 뉴토끼로그 -f Open-webui가있는 Open WebUI 컨테이너 로그를보고 다음 로그가 출력이고 입력 대기 상태가 대기 상태에 있으면 시작이 완료됩니다

WebUI가 실행 중인지 확인한 후에는 브라우저 사용http:// localhost : 8080아래의 화면과 비슷한 화면을 보면 괜찮습니다

"OK, 시작하자!"를 클릭 한 후 화면 단추
(이 예지옥락 뉴토끼는 인증 모드가 없지만 사용자 인증을 허용하는 것도 가능합니다)

로컬 SLM 지옥락 뉴토끼 구성이 완료되었습니다 (Docker는 그러한 경우에 정말 유용합니다!)

4 Get Model

다음, 추론 지옥락 뉴토끼 Ollama의 모델을 얻으십시오
이번에는 SLM (Small Language Model)의 Microsoft의 "Phi-4"및 Meta "Llama 3"을 얻으려고 노력할 것입니다 (Ollama 자체는 또한 대규모 언어 모델 (LLM)을 얻을 수 있지만 로컬 PC지옥락 뉴토끼 실행되기 때문에 약 10GB의 SLM을 인수합니다)

모델을 얻으려면 우선지옥락 뉴토끼ComposePS를 실행하여 실행 중인지 확인하십시오 이후,지옥락 뉴토끼ComposeexecOllamaOllama풀 [모델 이름]모델 이름is올라마 도서관 사이트에 나열된 모델을 지정하십시오

이 예지옥락 뉴토끼는 PHI4 : 14B를 얻지 만 SLM의 경우 98GB 크기가있어서 다운로드하는 데 약간의 시간이 걸립니다 (PC의 디스크 공간에도주의를 기울이십시오)

모델이 검색된 후지옥락 뉴토끼Compose다시 시작Open-webui로 열린 webui 컨테이너를 다시 시작하십시오 재부팅이 완료되면 브라우저를 다시 사용하십시오http:// localhost : 8080를 방문하십시오
화면 상단의 풀다운 메뉴에 PHI4 모델 (PHI4 : 14B)이 표시되면 완료되었습니다

디스크 공간이 충분한 경우지옥락 뉴토끼ComposeexecOllamaOllama풀llama3.1:8B지옥락 뉴토끼 llama 31 모델을 다운로드하십시오

아래는 Ollama의 모델 관리지옥락 뉴토끼 일반적으로 사용되는 명령 목록입니다 (이 명령은이 기사지옥락 뉴토끼 소개되었습니다Compose.yaml)
또한 모델을 추가하거나 삭제 한 후지옥락 뉴토끼Compose다시 시작Open-webui로 열린 webui 컨테이너를 다시 시작하십시오

(모델 이름이다Ollama Library페이지 참조)

5 작동 확인

마지막으로 작업을 확인합니다 다시 브라우저지옥락 뉴토끼http:// localhost : 8080를 방문하십시오
프롬프트 입력을 위해 텍스트 상자에 질문을 입력하고 제출하십시오 이번에는 "안녕하세요,이 모델의 기능을 간단히 알려주세요"라는 프롬프트를 입력했으며 다음 응답이 생성되었습니다

응답 속도는 이미지로 이해하기 어렵 기 때문에 비디오도 준비했습니다
GPU 성능에 따라 Geforce RTX 4060지옥락 뉴토끼 시도했을 때 응답 시간이 비교적 좋고 실용적이라고 생각했습니다

또한 여러 모델을 다운로드하는 경우 화면 상단의 모델 이름 옆의 "+"버튼을 사용하여 다른 모델을 추가하고 응답 결과를 비교할 수 있습니다

요약

이번에는 Ollama와 Open WebUI를 사용하여 로컬 PC지옥락 뉴토끼 Generation AI를 시험해 볼 수있는 로컬 SLM 환경 (※)을 구축하는 단계를 도입했습니다 이제 우리는 보안에 대해 걱정하지 않고 AI를 활용할 기초가 있습니다
(※ 그러나 편안하게 작동하려면 적절한 PC 사양이 필요합니다 )

이 지옥락 뉴토끼만으로도 유용하지만 Ollama와 Open Webui는 사이트 사용을 촉진하는 훌륭한 기능을 제공합니다 거기다음 번에 우리는이 지옥락 뉴토끼을 개발할 것입니다검색 세대)를 구축하는 방법을 보여 드리고자합니다
rag는 AI가 내부 문서와 같은 로컬 파일의 내용에 따라 응답을 생성 할 수 있도록하여 현장지옥락 뉴토끼 생성 된 AI의 사용을 더욱 촉진 할 수 있도록합니다

이제 "Rag Construction Edition"의 다음 에피소드를 기대하십시오!